MILO: Efficient Many-shot In-Context Learning with Block-wise Low-rank Compression
MILO：基于块级低秩压缩的高效多示例上下文学习
🧭 LLM 推理 · KV cache 低秩压缩
Google · University of Central Florida
利用块级低秩压缩和基于信息熵的动态秩分配，将多示例ICL的KV缓存降低50%、吞吐提升1.8倍
📌 工作参考价值（3 点）
- 在电商推荐/Agent场景中，常需将用户历史行为、商品描述或工具调用日志构造成超长上下文做 many-shot ICL，KV cache 内存是线上服务瓶颈；可借鉴 MILO 的块级低秩压缩，对 KV cache 分块进行 SVD 低秩近似，减少显存占用并提升吞吐。
- 动态秩分配策略：根据信息熵（或实际可用的 attention score 分布）评估每个块的重要性，对高信息密度块保留更多秩，对冗余块大幅压缩；这一思想可迁移到推荐系统的长序列用户建模或 Agent 对话历史压缩，避免均匀压缩导致关键信息丢失。
- 工程实现上，MILO 在 Qwen2.5 上达到 50% KV cache 内存降低和 1.8× 吞吐提升，且分类/推理基准性能几乎无损，说明低秩压缩可作为 LLM 在线推理的默认优化手段，尤其适合广告/推荐场景中的大模型 serving。